Diêu Sùng có ba con Di, Dị, Dịch đều làm quan đến chức khanh, thứ sử. Tằng tôn của ông có Diêu Hợp là người tài, đỗ tiến sĩ cập đệ vào những năm Nguyên Hòa, cuối cùng được phong tới Bí thư giám; và một người nữa là Diêu Úc, làm quan đến chức Tả gián nghị đại phu và thứ sử hai châu Hồ, Thường, được tể tướng Lý Đức Dụ quý trọng.